1.偏差方差定义
偏差：模型对于训练集的误差，模型训练首先模型低偏差，再拿到验证集观察方差
方差：模型对于验证集的误差
2.正则化
常见的正则项有L1正则和L2正则,加入正则项可以减小参数，一定程度上可以降低网络的复杂程度，避免过拟合
dropout正则化也是避免过拟合的方法,原理是随机的删除小于一定阈值的神经节点，避免节点过多导致过拟合
3.正则化输入
归一化：$\frac{(x-u)}{\epsilon}$
做归一化时，训练集和测试集所用到的平均值和方差需要一致
4.梯度消失与梯度爆炸
如果神经网络太深，预测值受很多w相乘影响。
如果w大于1，会导致预测值过大
如果w小于1，会导致预测值趋于0
5.权重初始化
不能设置为0，一般可以设置为2/n